Thời gian dạy học ở Vinh, vốn có ảnh hưởng tinh thần dân tộc của cha, Trần Phú có những tiếp xúc đầu tiên với Chủ nghĩa Cộng sản. Năm 1925, ông cùng một số bạn bè trẻ tuổi như Lê Văn Huân, Trần Đình Thanh, Ngô Đức Diễn, Tôn Quang Phiệt... thành lập Hội Phục Việt, sau đổi là Hội Hưng Nam, rồi lại đổi ra Việt Nam Cách mạng Đảng.

Năm 1926, với bí danh Lý Quý, Trần Phú đại diện Việt Nam Cách mạng Đảng sang Quảng Châu (Trung Quốc) bàn việc hợp nhất với Việt Nam Cách mạng Thanh niên. Tại Quảng Châu, ông tham gia một số lớp huấn luyện về lý luận và chính trị, được kết nạp vào Cộng sản Đoàn, và được cử về nước hoạt động. Tháng 12 năm 1926, ông về đến Vinh, tham gia cải tổ Việt Nam Cách mạng Đảng theo đường lối và tổ chức của Việt Nam thanh niên cách mạng.[2]

Một thời gian sau, ông bị lộ, được tổ chức bố trí sang Quảng Châu để hoạt động với bí danh Lý Viết Hoa. Mùa xuân năm 1927, Trần Phú được Nguyễn Ái Quốc cử sang học tại trường Đại học Đông Phương (Liên Xô) với bí danh Likvey (Ликвей). Tại đây, chi bộ những người Cộng sản Việt Nam được thành lập, ông được chỉ định làm bí thư chi bộ này.[3]

Một năm sau đó, năm 1928, Trần Phú là đại biểu dự Đại hội VI Quốc tế Cộng sản. Khi đó, tại quê nhà, ngày 11 tháng 10 năm 1929, ông bị tòa án Nam triều ở Nghệ An xử án vắng mặt cùng với một số đồng chí của mình.

Tháng 4 năm 1930, Trần Phú về nước và được bổ sung vào Ban Chấp hành Trung ương Lâm thời của Đảng (tháng 7), sau đó ít lâu vào Ban Thường vụ Trung ương. Ông được giao soạn thảo Luận cương Chính trị về vấn đề cách mạng tư sản dân quyền ở Đông Dương.

Tháng 10 năm 1930, Hội nghị lần thứ nhất Ban Chấp hành Trung ương Đảng họp ở Hương Cảng (Trung Quốc) đã thông qua bản Luận cương Chính trị và bầu Ban Chấp hành Trung ương chính thức, ông được bầu Tổng Bí thư đầu tiên của Đảng.

Tháng 3 năm 1931, với bí danh Anh Năm, Trần Phú chủ trì Hội nghị Trung ương lần thứ 2 tại Sài Gòn bàn việc chấn chỉnh Đảng sau đợt khủng bố của thực dân Pháp. Hội nghị khẳng định: "Đảng [Cộng sản Việt Nam] là đảng tiền phong của giai cấp vô sản, Đảng chiến đấu cho lợi ích sống còn của dân tộc, cho quyền lợi các giai cấp bị bóc lột, bị áp bức, nhưng không phải là đảng của Công Nông. Kiên quyết chống tả khuynh, chống hữu khuynh". Hội nghị đã vạch ra nghị quyết về nhiệm vụ hiện tại của Đảng, nghị quyết về tổ chức của Đảng, nghị quyết về cổ động tuyên truyền. Tại hội nghị này, một quyết định về "Tổ chức ra cộng sản thanh niên Đoàn là một nhiệm vụ thâu phục một bộ phận quan trọng của vô sản giai cấp, là một vấn đề cần kíp của Đảng phải giải quyết"[4]. Đây được xem là tiền đề để hình thành Đoàn Thanh niên Cộng sản Hồ Chí Minh về sau này. Theo Sophie Quinn-Judge, tác giả cuốn "Hồ Chí Minh: Những năm chưa biết đến" (Hochiminh: The missing years), mối quan hệ giữa Ban chấp hành trung ương với Hồ Chí Minh lúc đó đã xuống dốc rất nhiều. Hồ Chí Minh lúc đó bị chỉ trích vì người ta bắt đầu xem ông là một nhà cải cách theo xu hướng quốc gia.[5]